We construct a universally Bayes consistent learning rule that satisfies differential privacy (DP). We first handle the setting of binary classification and then extend our rule to the more general setting of density estimation (with respect to the total variation metric). The existence of a universally consistent DP learner reveals a stark difference with the distribution-free PAC model. Indeed, in the latter DP learning is extremely limited: even one-dimensional linear classifiers are not privately learnable in this stringent model. Our result thus demonstrates that by allowing the learning rate to depend on the target distribution, one can circumvent the above-mentioned impossibility result and in fact, learn \emph{arbitrary} distributions by a single DP algorithm. As an application, we prove that any VC class can be privately learned in a semi-supervised setting with a near-optimal \emph{labeled} sample complexity of $\tilde{O}(d/\varepsilon)$ labeled examples (and with an unlabeled sample complexity that can depend on the target distribution).

我们研究了随机向量$ {\ boldsymbol x} $ in $ \ mathbb r ^ d $的密度估计问题，概率密度$ f（\ boldsymbol x）$。对于Vertex Set $ \ {1，\ dots，d \} $上定义的生成树$ t $，树密度$ f_ {t} $是一款双变量条件密度的产品。最佳的生成树$ t ^ * $是生成树$ t $，其中klullback-leibler $ f $和$ f_ {t} $的次数是最小的。来自I.I.D.我们识别最佳树$ t ^ * $，并计算有效地构建树密度估计$ f_n $，使得没有任何规律性条件的密度$ f $，其中一个$ \ lim_ {n \ to \ indty} \int | f_n（\ boldsymbol x）-f_ {t ^ *}（\ boldsymbol x）| d \ boldsymbol x = 0 $ as对于LipsChitz连续$ F $与有界支持，$ \ mathbb e \ {\ int | f_n（\ boldsymbol x）-f_ {t ^ *}（\ boldsymbol x）| d \ boldsymbol x \} = o（n ^ {-1/4}）$。

对抗性例子的现象说明了深神经网络最基本的漏洞之一。在推出这一固有的弱点的各种技术中，对抗性训练已成为学习健壮模型的最有效策略。通常，这是通过平衡强大和自然目标来实现的。在这项工作中，我们旨在通过执行域不变的功能表示，进一步优化鲁棒和标准准确性之间的权衡。我们提出了一种新的对抗训练方法，域不变的对手学习（DIAL），该方法学习了一个既健壮又不变的功能表示形式。拨盘使用自然域及其相应的对抗域上的域对抗神经网络（DANN）的变体。在源域由自然示例组成和目标域组成的情况下，是对抗性扰动的示例，我们的方法学习了一个被限制的特征表示，以免区分自然和对抗性示例，因此可以实现更强大的表示。拨盘是一种通用和模块化技术，可以轻松地将其纳入任何对抗训练方法中。我们的实验表明，将拨号纳入对抗训练过程中可以提高鲁棒性和标准精度。

我们解决了估计混合时间的问题$ t _ {\ mathsf {mix}} $从单个长度$ m $的单个轨迹中的任意Ergodic有限状态马尔可夫链的$。 Hsu等人解决了可逆情况。 [2019]，他将一般案件作为一个空旷的问题。在可逆情况下，马尔可夫操作员是自我伴侣的事实，极大地促进了分析，而魏尔的不平等允许对经验特征值进行无维度的扰动分析。如Hsu等。指出，在没有可逆性（引起不对称的对概率矩阵）的情况下，现有的扰动分析对$ D $ $ d $的状态数量的指数依赖性最差。此外，即使可以更好地依赖$ d $的特征值扰动分析，在不可逆的情况下，光谱间隙和混合时间之间的连接也不像可逆情况下那么简单。我们的关键见解是估计伪柔性差距$ \ gamma _ {\ mathsf {ps}}} $，这使我们能够克服对称性的损失并实现对最小的平稳概率$ \ pi_ \ pi_ \ star $ \ star $和$ \ gamma _ {\ mathsf {ps}} $。此外，在可逆情况下，我们在$ t _ {\ Mathsf {mix}} $和precision $ \ varepsilon $中获得几乎同时获得的（取决于对数因素）的最小值，并在HSU等人中缩小了差距，他的差距是$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \\ varepsilon $在下限中为常数。最后，我们为$ \ gamma _ {\ mathsf {ps}} $构建完全的经验置信区间，它以大约$ 1/\ sqrt {m} $的速度收缩至零案子。

我们考虑在对抗环境中的强大学习模型。学习者获得未腐败的培训数据，并访问可能受到测试期间对手影响的可能腐败。学习者的目标是建立一个强大的分类器，该分类器将在未来的对抗示例中进行测试。每个输入的对手仅限于$ k $可能的损坏。我们将学习者 - 对手互动建模为零和游戏。该模型与Schmidt等人的对抗示例模型密切相关。 （2018）; Madry等。 （2017）。我们的主要结果包括对二进制和多类分类的概括界限，以及实现的情况（回归）。对于二元分类设置，我们都拧紧Feige等人的概括。 （2015年），也能够处理无限假设类别。样本复杂度从$ o（\ frac {1} {\ epsilon^4} \ log（\ frac {| h |} {\ delta}）$ to $ o \ big（\ frac {1} { epsilon^2}（kvc（h）\ log^{\ frac {3} {2}+\ alpha}（kvc（h））+\ log（\ frac {1} {\ delta} {\ delta}）\ big）\ big）\ big）$ for任何$ \ alpha> 0 $。此外，我们将算法和概括从二进制限制到多类和真实价值的案例。一路上，我们获得了脂肪震惊的尺寸和$ k $ fold的脂肪的尺寸和Rademacher复杂性的结果最大值的功能类别；这些可能具有独立的兴趣。对于二进制分类，Feige等人（2015年）使用遗憾的最小化算法和Erm Oracle作为黑匣子；我们适应了多类和回归设置。该算法为我们提供了给定培训样本中的球员的近乎最佳政策。

我们在可实现的PAC设置中从带有边距的可实现的PAC设置中介绍了一种改进的{\ em准正确}学习凸多面体。我们的学习算法将一致的多面体构造为大约$ t \ log t $ halfpace，在$ t $的时间多项式中的恒定尺寸边距（其中$ t $是形成最佳多面体的半个空间的数量）。我们还确定了从覆盖物到多层的覆盖率概念的明显概括，并调查它们如何与几何上的关系;此结果可能具有超出学习设置的后果。

该报告概述了建模变革性AI风险（MTAIR）项目的工作，试图在有关高级AI的灾难性风险及其之间的关系中绘制关键的假设，不确定性和分歧。这是基于Ben Cottier和Rohin Shah的较早图，它们以视觉上列出了一些关键分歧（“ Cruxes”），并进行了一些解释。根据广泛的文献综述和与专家的参与，该报告解释了涉及的问题的模型以及最初的基于软件的实施，该实施可以纳入概率估计或其他定量因素，以实现探索，计划和/或决策支持。通过将各种辩论和讨论中的信息收集到一个更连贯的演讲中，我们希望能够更好地讨论和辩论有关的问题。该模型从通过类比的推理和对人工智能的一般性信念进行讨论开始。此后，它提出了一个不同的路径模型，并为高级机器智能提供了技术，以及这些系统能力的进步如何进行的模型，包括有关自我支持，不连续改进的辩论以及的可能性以及分布式，非代理高级智能或较慢的改进。该模型还专门研究了学习优化的问题，以及机器学习系统是否会创建MESA-OPTIMIZES。然后检查了不同的安全研究对先前问题集的影响，以了解研究以及如何在实现更安全的系统中有用。最后，我们讨论了一个不同的故障模式的模型以及控制或接管场景的丧失。